package test

import org.apache.spark.{SparkConf, SparkContext}

object demo4 {
  def main(args: Array[String]): Unit = {

    // 创建ADD
    var conf = new SparkConf().setAppName("myapp").setMaster("local")
    var sc = new SparkContext(conf)

    //创建RDD的四种方式 ：都测试
    //1 、parallelize()
    var a1 = Array(2, 3, 4, 5, 6)
    var rdd = sc.parallelize(a1)
    print("rdd：" + rdd)
    //2 、makeRDD()
    var rdd1 = sc.makeRDD(a1)
    print("rdd1：" + rdd1)
    //3 、外部文件创建，从根目录开始读取
    var rdd2 = sc.textFile("data/words.txt")
    print("rdd2：" + rdd2)
    print("rdd2.collect：" + rdd2.collect)
    rdd2.collect().foreach(println)
    //4 、读取hadoop文件 启动hadoop服务器 ，上传文件
    var rdd3 = sc.textFile("hdfs://10.90.6.133:9000/words.txt")
    println("rdd3: " + rdd3)
    println(rdd3.collect())
    rdd2.collect().foreach(println)
  }

}
